Cartridges at Scale: Training Modular KV Caches over Large Document Collections
大规模文档集合的模块化KV缓存训练框架
🧭 文档压缩·模块化KV缓存与检索增强生成 ★ 深度解读
Amazon AGI
提出CAS框架，通过动态混合训练及GPU/存储交换，实现数百个per-document cartridge的联合训练，消除多缓存混合的性能塌陷，结合检索较文本RAG节省3-4倍token。
📌 工作参考价值（4 点）
- 可组合的KV缓存训练范式：在需要为大量静态文档（商品政策、FAQ、医典）构建可重用缓存的场景，直接采纳混合可见性训练（P<sub>iso</sub>=0.75，每样例以一定概率加入其他文档的cartridge作为干扰），可完全避免多缓存拼接时的性能暴跌（从26%回至78%），能直接复用到电商长文档问答的缓存构建中。
- GPU内存有限的规模化训练：预算管理器将KV缓存池轮换（每R步交换φ比例）并优先训练次数少的文档，配合FP32优化器与BF16权重、优化器状态卸载至NVMe，可在单GPU上训练数百个cartridge。对需要为海量商品文描或搜索结果页生成压缩预填缓存的场景极为关键，省去反复prefill的成本。
- 自学习数据合成的省钱技巧：将问题生成与回答模型解耦（用更大的MQ生成多样问题），一次API调用生成20个问题，并将文档采样权重设为与该文档长度成正比，可提升合成数据对长文档事实的覆盖，同时降低约20倍合成成本。这对需要自建训练语料的推荐/Agent项目同样适用。
- 混合RAG与压缩缓存的推理策略：Cartridge RAG用检索选出相关文档的压缩缓存代替原始文本块，在LongHealth上以3.7倍更少prompt tokens达到同等精度。对于电商搜索结果总结或客服知识库问答，可大幅减少输入长度、加速生成，同时保持片段级检索的准确性。在信息高度密集的表格型内容上需谨慎控制激活的cartridge数量，否则性能下降，这一点对金融/库存类文档压缩有直接启示。